1.43公里外的隔墙观物，我们做到了！ | 徐飞虎
徐飞虎 · 中国科学技术大学教授
格致论道第94期 | 2023年5月5日 杭州
大家好，我叫徐飞虎，来自中国科学技术大学。今天给大家分享一下如何实现“隔墙观物”。
我们把这个方法叫做非视域成像，也可以叫非视距、绕视或者拐角成像。首先跟大家分享一个视频，是我们近期在实验室内搭的一套实验装置，展示了对隐藏的、视场外的场景进行成像。今天希望跟大家分享我们是如何做到这一点的。
▲
非视域（非视距、绕视、拐角）成像它的目标很简单，就是拍出肉眼看不到的场景。比如说在上图中，能不能用一个相机拍到墙后面房间里的场景，这就是我们想做的非视域成像。
它有什么应用呢？在反恐、反劫持、自动驾驶、医学检测以及灾难救援等等场景，我们都希望能够看到肉眼看不到的一些事情，这是我们想要实现的目标。
我们再看一下如何实现非视域成像。一般是主动发一束激光到一个可见光墙面上，这个墙将光散射到隐藏的场景，再被隐藏目标散射回到墙面，最后墙面将光子散射回到探测器，被探测器接收。对接收到的光子，利用算法进行计算处理来实现成像。
非视域成像难在哪儿
已完成：10% //////////
要想实现非视域成像，我们主要面临三方面挑战。第一个挑战是漫反射。
▲ 镜面成像
我们在家照镜子，镜子是镜面反射。因此我从相机右侧，通过镜子可以很容易看到左侧的小兔子。
▲ 墙面成像
如果我们面对一个自然场景中的墙面或地面，其实就是漫反射的过程，整个光的空间信息都会散掉。所以我们再用相机去看墙面，只能看到一个散斑，失去了所有信息。这就是我们面临的第一个挑战。
刚才介绍了，我们是主动发一束激光，经过墙面到物体再到墙面的多次散射。每次散射光都是散到整个空间的，最后能回到探测器的光非常微弱。所以第二个面临的挑战是如何对这么微弱的信号进行探测，这是技术上面临的一个核心难题。
第三个挑战，每次散射过程中光是散到整个空间的各个方向，所以实验测到的时间信号其实是光场里一个光的圆球，存在复杂的时空混杂，失去了整个图像的信息。对这样复杂的数据，需要用到我们的计算成像算法，或者叫它人工智能算法来进行处理。
我大概是从2015年开始非视域成像相关的研究，首先做的就是成像算法。当初我还在麻省理工学院（MIT）的时候，我们进行了一个算法突破。有了算法，我们在实验室内进行了原理性验证。
2017年回国后，我们开展了很多关键技术的攻关，包括如何在外场试验非视域成像，如何实现更高精度的，以及更远距离的非视域成像。从近期开始，我们也希望能够把这个技术进一步工程化、实用化。
攻克三大难题的解决方案
再回到成像的场景，我们主要用三个方案来解决前面的三方面挑战：飞行时间，单光子探测，成像算法。
对于漫反射过程，我们重点探测光在空间的飞行时间，通过光的飞行时间乘以光速就能知道光的距离信息。这里我们重点探测的是第三次从隐藏目标回到墙面的飞行时间。
通过这个飞行时间，相当于我对隐藏目标进行时间维度的采样，不同隐藏场景回来的目标飞行时间不一样，所以通过时间探测就可以对隐藏目标进行区分。
第二个问题，由于多次散射，回来的光子非常微弱，怎样进行探测？自然场景的光可能含有的光子大概在10的17次方到10的20次方这样的量级，真正到一个光子级别，它是非常非常微弱的，相当于是一个光最基本的单元。这就用到在量子科技里发展的高灵敏单光子探测技术，能够实现对每一个微弱到单光子级别的信号进行探测。
最后一个核心技术是成像算法，用于对复杂数据进行处理。为了实现非视域成像，其实我在扫描过程中进行了多个点的探测，每一个点的探测相当于对隐藏空间画一个圆球，把所有点的数据融合起来就相当于很多个圆球交叠在一起。成像算法想解决的问题是：能够反过来推算这个圆球的交点到底在哪里？这就是它的核心思路。
▲ 成像算法
我们想做的是把实验的测量数据返回投影到隐藏空间，通过统计学里常用的比如说最大似然估计等相应的方法，对隐藏空间进行初步估计。同时再结合信号滤波技术，就能对隐藏场景进行精确图像重构。
为了能够更好地处理数据，首先是能够探测到高信噪比的数据，我们从2017年开始发展了很多相关关键技术的攻关。
▲ 单光子成像技术
首先我们采用了一个近红外波段作为光源，它是人眼不可见的，重点采用的是1550纳米波段，在整个大气环境中它的透过率非常高。
此外我们也发展了很多小型化、高灵敏的单光子探测器；研发了高耦合效率、时域滤波等技术用于滤出噪声；同时对整个系统进行集成化和双轴扫描，最终能够满足外场应用环境的需求。
真正做到隔墙观物
有了前面的算法和技术，我们就开展了很多实验的验证。给大家举的第一个例子在上海，我们把系统放到中国科大上海研究院，实验目标是对1.43公里外的一个民宅（叫林语溪小区）里的一个房间进行拍照。当然我们肯定不会偷窥别人家的隐私，所以在实验过程中是自己租了一个房间，把望远镜聚焦到那个房间。
通过望远镜或者说天文望远镜看过去，看到的只是一面白墙。我们想做的是能不能拍摄到躲在墙里面的隐藏场景，所以我放了一个人体模特。实验里能不能用非视域成像技术对模特的图像进行重构？
我们采用一个双轴望远镜发一束激光过去，通过一个1.43公里的链路到隐藏场景。光到达房间之后，它同样经过了可见的墙、隐藏的人、再到墙，返回来一个信号。
因此我们看到的返回来的信号一个是从墙直接返回来的，还有一个是从隐藏目标返回来的，我们叫它第3次漫反射回来的信号。重点处理的就是这第3次漫反射信号。
刚才讲到，为了实现场景成像，要对墙面进行逐点扫描，不停地对场景进行空间维度上不同点的多次采样。经过多次采样后，信号都通过另一个望远镜送到我们的单光子探测器，对信号进行接收。有了这么多原始信号，就可以送到算法里进行处理。
大家看，这是我们在实验中得到的一个原始信号。隐隐约约可以看到一些光环，总体来看是一个三维数据。对于这个数据我们要进行实验处理。我们考虑了很多实际效果，同时结合算法，重点使用的是刚才讲到的反求解或者说凸优化的算法，最终把一个场景重构出来。
▲ 从左至右：实际目标、反向投影、传统结果、我们的结果
我们在实验中做了多种测试，包括一些字母、人体姿态以及各种各样的姿势。能够很清楚地看到，我们可以把人体的姿态测出来。
这里给大家看的只是一些简单的场景，其实我们不仅能对简单的场景成像，同时也能对一些复杂的非视域场景进行成像。
▲ 复杂场景非视域成像
这里测的是一个相对复杂的场景。图像中有圆环、石狮子、字母，后面还有一个书架。右边是真正实验中得到的原始数据，大家看到的是隐隐约约的，有一些东西隐藏在其中。
仔细看一下在空间和时间维度它长什么样，其实 不同场景回来的光，在时间轴上可以区分。比如这个圆环离得近一点，是先回来的光，最后是离我们最远的柜子回来的光的传播过程。
把这样的原始数据再送到成像算法中，它的三维信息甚至字母的细节都能够很清楚地拍出来。
▲ 左：实际目标 中：我们的结果 右：传统结果
我们同时也可以实现更高精度的非视域成像。我们在近期实现了毫米级的非视域成像，这样就可以对一个A4纸打印出来的、大概4号大小的字体进行重构，比如这里展示的一些英文字母包括USTC、SCIENCE。总得来说，将来对一些隐藏场景中的文件，我们同样可以把它拍出来。
我们的成果也得到了国内外媒体的很多关注，包括《经济学人》（The Economist）以及《今日物理》（Physics Today）都很关注我们的一些相关成果。
古老又全新的成像艺术
非视域成像在国内外都是一个非常受关注的研究课题。
▲ 国内外研究进展
比如早在2010年左右，麻省理工学院媒体实验室（MIT Media Lab）就首次实现了非视域成像的原理性验证。后面美国的斯坦福大学、波士顿大学还有卡内基·梅隆大学，以及英国的赫瑞-瓦特大学都在成像算法以及相关技术上取得了很多突破性成果。
同时，非视域成像也在2020年被《科学美国人》（Sciencific American）选为十大新兴技术，并且也得到了美国，例如美国国防部高级研究计划局（DARPA）等多个项目的支持。比如“通过主动光场技术革命性提高可见能力”（REVEAL）项目的支持，它重点用于支持通过主动光场来拓展人们成像视野的技术。因此我们相信，随着技术的不断进步，非视域成像将会逐步走进千家万户。
总结一下，成像艺术其实是一门古老而又全新的科学。最早从古代墨子的小孔成像开始，告诉我们光沿直线传播。之后伽利略发明了望远镜，首次告诉我们能够用科学方法去研究整个宇宙。到近代的生物成像比如显微成像、核磁共振，再到今天讲的非视域成像。相信未来随着技术的不断发展，我们能够创造出更多新的技术来服务大众、造福人类社会。
谢谢大家。
文章和演讲仅代表作者观点，不代表格致论道讲坛立场。
原称“SELF格致论道”，是中国科学院全力推出的科学文化讲坛，由中国科学院计算机网络信息中心和中国科学院科学传播局联合主办，中国科普博览（中国科学院科普云平台）提供技术支持。致力于非凡思想的跨界传播，旨在以“格物致知”的精神探讨科技、教育、生活、未来的发展。欢迎关注格致论道官网：self.org.cn，微信公众号：SELFtalks，微博：格致论道讲坛。